We analyze Newton's method with lazy Hessian updates for solving general possibly non-convex optimization problems. We propose to reuse a previously seen Hessian for several iterations while computing new gradients at each step of the method. This significantly reduces the overall arithmetical complexity of second-order optimization schemes. By using the cubic regularization technique, we establish fast global convergence of our method to a second-order stationary point, while the Hessian does not need to be updated each iteration. For convex problems, we justify global and local superlinear rates for lazy Newton steps with quadratic regularization, which is easier to compute. The optimal frequency for updating the Hessian is once every $d$ iterations, where $d$ is the dimension of the problem. This provably improves the total arithmetical complexity of second-order algorithms by a factor $\sqrt{d}$.

Privacy-preserving machine learning has become a key conundrum for multi-party artificial intelligence. Federated learning (FL) and Split Learning (SL) are two frameworks that enable collaborative learning while keeping the data private (on device). In FL, each data holder trains a model locally and releases it to a central server for aggregation. In SL, the clients must release individual cut-layer activations (smashed data) to the server and wait for its response (during both inference and back propagation). While relevant in several settings, both of these schemes have a high communication cost, rely on server-level computation algorithms and do not allow for tunable levels of collaboration. In this work, we present a novel approach for privacy-preserving machine learning, where the clients collaborate via online knowledge distillation using a contrastive loss (contrastive w.r.t. the labels). The goal is to ensure that the participants learn similar features on similar classes without sharing their input data. To do so, each client releases averaged last hidden layer activations of similar labels to a central server that only acts as a relay (i.e., is not involved in the training or aggregation of the models). Then, the clients download these last layer activations (feature representations) of the ensemble of users and distill their knowledge in their personal model using a contrastive objective. For cross-device applications (i.e., small local datasets and limited computational capacity), this approach increases the utility of the models compared to independent learning and other federated knowledge distillation (FD) schemes, is communication efficient and is scalable with the number of clients. We prove theoretically that our framework is well-posed, and we benchmark its performance against standard FD and FL on various datasets using different model architectures.

我们研究了在$ n $工人上的分布式培训的异步随机梯度下降算法，随着时间的推移，计算和通信频率变化。在此算法中，工人按照自己的步调并行计算随机梯度，并在没有任何同步的情况下将其返回服务器。该算法的现有收敛速率对于非凸平的光滑目标取决于最大梯度延迟$ \ tau _ {\ max} $，并表明$ \ epsilon $ stationary点在$ \ mathcal {o} \！\左后达到（\ sigma^2 \ epsilon^{ - 2}+ \ tau _ {\ max} \ epsilon^{ - 1} \ right）$ iterations，其中$ \ sigma $表示随机梯度的方差。在这项工作（i）中，我们获得了$ \ Mathcal {o} \！\ left（\ sigma^2 \ epsilon^{ - 2}+ sqrt {\ tau _ {\ max} \ max} \ tau_ {avg} {avg} } \ epsilon^{ - 1} \ right）$，没有任何更改的算法，其中$ \ tau_ {avg} $是平均延迟，可以大大小于$ \ tau _ {\ max} $。我们还提供（ii）一个简单的延迟自适应学习率方案，在该方案下，异步SGD的收敛速率为$ \ Mathcal {o} \！\ left（\ sigma^2 \ epsilon^{ - 2} { - 2}+ \ tau_ {-2 avg} \ epsilon^{ - 1} \ right）$，并且不需要任何额外的高参数调整或额外的通信。我们的结果首次显示异步SGD总是比迷你批次SGD快。此外，（iii）我们考虑了由联邦学习应用激发的异质功能的情况，并通过证明与先前的作品相比对最大延迟的依赖性较弱，并提高收敛率。特别是，我们表明，收敛率的异质性项仅受每个工人内平均延迟的影响。

在机器学习模型的数据并行优化中，工人协作以改善对模型的估计：更准确的梯度使他们可以使用更大的学习率并更快地优化。我们考虑所有工人从同一数据集进行采样的设置，并通过稀疏图（分散）进行通信。在这种情况下，当前的理论无法捕获现实世界行为的重要方面。首先，通信图的“光谱差距”不能预测其（深）学习中的经验表现。其次，当前的理论并不能解释合作可以比单独培训更大的学习率。实际上，它规定了较小的学习率，随着图表的变化而进一步降低，无法解释无限图中的收敛性。本文旨在在工人共享相同的数据分布时绘制出稀疏连接的分布式优化的准确图片。我们量化图形拓扑如何影响二次玩具问题中的收敛性，并为一般平滑和（强烈）凸目标提供理论结果。我们的理论与深度学习中的经验观察相匹配，并准确地描述了不同图形拓扑的相对优点。

过度参数化的深度神经网络能够在保持小的泛化误差时实现出色的训练精度。还发现它们能够适合任意标签，并且这种行为被称为记忆现象。在这项工作中，我们研究了带匝数辍学的记忆现象，有效的方法来估计影响和记忆，真实标签（真实数据）和随机标签的数据（随机数据）。我们的主要发现是：（i）对于真实数据和随机数据，易于示例（例如，实际数据）和困难示例（例如，随机数据）的优化由网络同时进行，速度较高; （ii）对于实际数据，训练数据集中的一个正确的难度示例比一个简单的更具信息性。通过显示随机数据和实际数据的记忆，我们突出了它们之间的一致性，并且我们强调了在优化期间记忆的含义。

大型文本语料库培训的基于变压器的语言模型在自然语言处理社区中享有巨大的普及，并且通常用作下游任务的起点。虽然这些模型是不可否认的，但这是一种挑战，以量化超出传统准确度指标的性能。在本文中，我们通过在培训过程的顺序阶段的获取知识快照来比较基于BERT的语言模型。可以通过查询具有探测任务的屏蔽语言模型来发现来自培训语料库的结构化关系。我们提出了一种通过在罗伯塔早期训练的各个阶段的CLOZE“填空”陈述中产生知识图表提取物来揭示知识收集时间表的方法。我们将该分析扩展到BERT模型（Distilbert，Bert-Base，Roberta）的预磨损变体进行比较。这项工作提出了通过知识图提取（GED，Graph2VEC）来比较语言模型的定量框架，并且展示了语音分析（波动）以确定每个模型变体的语言强度。使用这些指标，机器学习从业者可以比较模型，诊断其模型的行为优势和劣势，并确定新的目标数据集以提高模型性能。

联合学习的个性化可以通过交易模型的偏差来提高用户模型的准确性（通过使用来自可能不同）的数据引入的数据来抵消其方差（由于任何单个用户的数据量有限）。为了开发最佳地平衡此权衡的培训算法，有必要扩展我们的理论基础。在这项工作中，我们将个性化协作学习问题正式，作为用户目标$ f_0（x）$的随机优化，同时获得对N $相关但其他用户的不同目标$ \ {f_1（x），\ dots，f_n （x）\} $。我们在此设置中为两个算法提供收敛保证 - 一种名称的个性化方法，称为\ emph {加权梯度平均}，以及一种新颖的\ emph {偏压校正}方法 - 以及我们可以最佳地折衷的条件偏差减少方差并实现线性加速WRT \用户数量$ N $。此外，我们还经验验证他们的表现，证实了我们的理论见解。

在联合学习中，模型个性化可以是处理跨客户端的异构培训数据的非常有效的策略。我们介绍了华夫饼（联邦学习的加权平均），一个个性化的协作机器学习算法，利用随机控制变体进行更快的收敛。华夫饼使用客户在客户的更新之间的欧几里德距离来权衡他们的个人贡献，从而最大限度地减少了对特定意见代理人的个性化模型损失。通过一系列实验，我们将新方法与两个最近的个性化联邦学习方法进行比较 - 重量侵蚀和APFL - 以及两种通用方法 - 联邦平均和脚手架。使用两类非相同客户数据分布评估性能 - 概念移位和标签偏差 - 在两个图像数据集（MNIST和CIFAR10）上。我们的实验表明了华夫犬的比较有效性，因为它达到或提高了更快的收敛性的准确性。

在分布式和联合学习中实现全球融合的主要障碍是由于分布式数据的异质性和随机性的客户端跨越梯度的未对准。在这项工作中，我们表明，实际上可以利用数据异质性来通过隐式正规化提高泛化性能。缓解异质性影响的一种方法是在整个训练中鼓励在不同客户端中的渐变对齐。我们的分析表明，通过利用复制SGD的隐式正则化效果的正确优化方法可以实现这一目标，从而导致梯度对准以及测试精度的改进。由于SGD中该正则化的存在完全依赖于在训练期间的不同迷你批次的顺序使用，因此在用大型批次进行训练时固有地没有。为了在增加并行性的同时获得该正则化的泛化效益，我们提出了一种新的渐变算法，其诱导相同的隐式正则化，同时允许在每个更新中使用任意大的批次。我们通过在不同分布式和联合学习设置中实验验证我们算法的优势。

深度学习模型的最先进的培训算法基于随机梯度下降（SGD）。最近，已经探索了许多变体：用于更好的准确度（例如以EXTRARIAINT）的参数，限制SGD更新，以增加效率（例如MEPROP）的参数的子集或（例如丢弃器）的组合。然而，这些方法的收敛通常不会理论上没有研究。我们提出了一个统一的理论框架来研究这种SGD变体 - 包括上述算法，另外还有用于通信有效训练或模型压缩的多种方法。我们的见解可以用作提高这些方法效率的指南，并促进新应用的概率。作为示例，我们解决了共同训练网络的任务，其中一个版本（限于子网）用于创建可泥瓦网络。通过培训低级变压器，与标准一个，我们获得优于卓越的性能，而不是单独培训。